将神经表示与语言因素联系起来至关重要，对于人类可以解释的NLP模型。在这些因素中，句法角色（例如主题，直接对象，$ \ dots $）及其实现是必不可少的标记，因为它们可以理解为谓语结构的分解，因此可以理解为句子的含义。从引起注意的深层概率生成模型开始，我们衡量潜在变量与句法角色实现之间的相互作用，并表明可以在不监督的情况下获得句子的表示，而不同的语法角色对应于清晰识别不同的潜在变量。我们提出的概率模型是注意力驱动的变异自动编码器（Advae）。从基于变压器的机器翻译模型中汲取灵感，可以通过注意力分析潜在变量和输入令牌之间的相互作用。我们还制定了一个评估协议，以衡量句法角色的实现。该协议基于对编码器的注意最大值和解码器的潜在变量扰动。我们在SNLI数据集中对原始英语文本进行的实验表明，可以在没有监督的情况下诱导$ \ textit {i）} $ dentangement句法角色，$ \ textit {ii）} $ advae分离句法角色比经典序列VAE和Transferaler sequence VAE和Transformer Vaes更好，$ \ textit {iii）} $句法角色的实现可以通过仅仅干预相关的潜在变量在句子中分别修改。我们的工作构成了无监督的可控内容生成的第一步。我们的工作代码公开可用。
translated by 谷歌翻译
在数字人文学科和计算社会科学中，比较两个文本体系和搜索它们在它们之间使用情况不同的单词的问题。这通常是通过在每个语料库上的训练单词嵌入，对齐矢量空间，并寻找余弦距离在对齐空间中的单词很大。然而，这些方法通常需要大量过滤词汇表表现良好，而且 - 正如我们在这项工作中所展示的那样 - 导致不稳定，因此不太可靠，结果。我们提出了一种不使用矢量空间对齐的替代方法，而是考虑每个单词的邻居。该方法简单，可解释和稳定。我们在9种不同的设置中展示了它的有效性，考虑了不同的语料库分裂标准（年龄，性别和推文作者，Tweet的时间）和不同的语言（英语，法语和希伯来语）。
translated by 谷歌翻译
当前用于黑框NLP解释性（例如石灰或摇摆）的方法是基于通过删除单词和建模黑框响应来更改文本以解释的文本。在本文中，我们概述了使用复杂的基于BERT的分类器时的限制：基于单词的采样词会产生分类器范围内分布的文本，并进一步产生高维搜索空间，可以'当时间或计算功率受到限制时，可以充分探索。这两个挑战都可以通过使用段作为NLP可解释性的基本构建块来解决。作为例证，我们表明，句子的简单选择在这两个挑战上都大大改善。结果，最终的解释器在基准分类任务上取得了更好的保真度。
translated by 谷歌翻译